Fakta menarik mengenai kaum Dusun ialah, mereka tidak mempunyai perkataan "Dusun" dalam kamus bahasa asli mereka, kerana istilah "Dusun" merupakan sejenis kata nama am bagi sesuatu tempat. Dalam bahasa melayu, "Dusun" bermaksud "kebun" atau "ladang". Teori asal usul istilah "Orang Dusun" ini bermula dengan spekulasi sejarah yang mengatakan bahawa Sultan Brunei yang memerintah kawasan Borneo Utara di bawah Kekuasaan Kesultanan Brunei sejak kurun ke-14 menggunakan istilah "Orang Dusun" bagi merujuk komuniti orang asli Borneo yang bertani, berkebun dan berladang demi kelangsungan hidup.[7] Istilah "Orang Dusun" ini digunapakai oleh Sultan Brunei setiap kali ingin mengutip Cukai Sungai yang juga disebut "duis" daripada golongan etnik pekebun yang menduduki tanah rendah di kawasan Pantai Barat Borneo Utara. Istilah yang sama juga digunapakai Sultan Brunei bagi merujuk kepada golongan etnik petani yang primitif dan menduduki kawasan pedalaman Borneo Utara yang jauh daripada kawasan tanah rendah. Penggunaan istilah ini diteruskan oleh orang Inggeris yang memerintah Borneo Utara pada tahun 1881 hingga 1988, dan 1941, 1945 hingga 1946.[8] [9]